Trải qua các thời kỳ lịch sử, huyện Sơn Dương có nhiều thay đổi về địa giới, hành chính. Khi nhà nước Văn Lang ra đời, Sơn Dương thuộc bộ Văn Lang. Dưới chế độ Bắc thuộc, Sơn Dương trực thuộc các phủ, quận do thống trị phương Bắc lập ra.

Huyện Sơn Dương ngày nay được sáp nhập từ hai huyện: Để Giang và Đăng Đạo. Cả hai huyện từ thời Lý - Trần - Lê Sơ đến trước năm 1833, thuộc phủ Đoan Hùng, trấn Sơn Tây.

Huyện Sơn Dương, đời Trần gọi là huyện Đáy Giang thuộc lộ Quốc Oai. Thời thuộc Minh gọi là huyện Để Giang (để là đáy, giang là sông). Đến thời Lê, năm Quang Thuận thứ 10 (1469) sáp nhập vào phủ Đoan Hùng, trấn Sơn Tây. Đến thời Lê Trung Hưng đổi tên thành huyện Sơn Dương, bao gồm có 9 tổng: Ất Sơn, Yên Lịch, Lương Viên, Đồng Chương, Linh Xuyên, Mẫn Hóa, Hội Kế, Hữu Vu, Gia Mông (Từ xã Tuân Lộ ngày nay đến hết các xã hạ huyện Sơn Dương).

Huyện Đăng Đạo thời thuộc Minh là huyện Đương Đạo, phủ Tuyên Hóa. Năm Quang Thuận thứ 10 (1469) nhập vào phủ Đoan Hùng. Năm Minh Mệnh thứ nhất (1820) đổi tên thành huyện Đăng Đạo, phủ Đoan Hùng, trấn Sơn Tây. Gồm 7 tổng: Kim Quan Thượng, Khang Lực, Tứ Lân, Phượng Liễn, Hồng La, Bắc Hoàng, Đồng Liêu (từ xã Phúc Ứng ngày nay đến các xã thượng huyện Sơn Dương và một số xã của huyện Yên Sơn). Năm Minh Mệnh thứ 14 (1833) sáp nhập huyện Đăng Đạo vào huyện Sơn Dương.

Ngày 18 tháng 4 năm 1888, Thống sứ Bắc Kỳ tách huyện Sơn Dương ra khỏi tỉnh Sơn Tây nhập vào tỉnh Tuyên Quang, (tỉnh Tuyên Quang được thành lập năm 1831).

Năm 1891, tỉnh Tuyên Quang bị xóa bỏ, các đơn vị hành chính của tỉnh Tuyên Quang được chia vào đạo quan binh 2 và đạo quan binh 3.

Năm 1900, tỉnh Tuyên Quang được tái lập, Sơn Dương dưới quyền quản lý nhà nước trực tiếp của tỉnh Tuyên Quang.

Ngày 10 tháng 3 năm 1945, cuộc khởi nghĩa ở đình Thanh La (xã Minh Thanh, huyện Sơn Dương ngày nay), tiến đánh giải phóng đồn Đăng châu, thành lập Châu Tự Do, bao gồm các xã vùng thượng huyện Sơn Dương; các xã vùng hạ huyện Sơn Dương gọi là châu Kháng Địch.

Năm 1946, châu Tự Do và châu Kháng Địch sáp nhập lại thành huyện Sơn Dương.

Năm 1976, Tuyên Quang và Hà Giang được sáp nhập thành tỉnh Hà Tuyên. Sơn Dương trở thành một trong những huyện trọng điểm kinh tế của Hà Tuyên.

Năm 1991, Hà Tuyên được chia thành hai tỉnh: Tuyên Quang và Hà Giang, Sơn Dương là đơn vị hành chính thuộc Tuyên Quang, gồm thị trấn nông trường Tân Trào và 32 xã: Bình Yên, Cấp Tiến, Chi Thiết, Đại Phú, Đông Lợi, Đồng Quý, Đông Thọ, Hào Phú, Hồng Lạc, Hợp Hòa, Hợp Thành, Kháng Nhật, Lâm Xuyên, Lương Thiện, Minh Thanh, Ninh Lai, Phú Lương, Phúc Ứng, Quyết Thắng, Sơn Nam, Tam Đa, Tân Trào, Thanh Phát, Thiện Kế, Thương Ấm, Trung Yên, Trường Sinh, Tú Thịnh, Tuân Lộ, Văn Phú, Vân Sơn, Vĩnh Lợi.

Ngày 29 tháng 8 năm 1994, thành lập thị trấn Sơn Dương - thị trấn huyện lỵ huyện Sơn Dương, trên cơ sở điều chỉnh một phần diện tích tự nhiên và dân số của các xã Tú Thịnh, Hợp Thành, Kháng Nhật.

Ngày 15 tháng 7 năm 1999, giải thể thị trấn nông trường Tân Trào. Dân cư thuộc thị trấn nông trường hiện đang sinh sống trên địa bàn các xã Minh Thanh, Tú Thịnh, Phúc Ứng, Bình Yên, Thượng Ấm, Tân Trào và thị trấn Sơn Dương được giao về các xã và thị trấn nói trên quản lý.

Ngày 21 tháng 11 năm 2019, sáp nhập hai xã Tuân Lộ và Thanh Phát thành xã Tân Thanh, sáp nhập hai xã Sầm Dương và Lâm Xuyên thành xã Trường Sinh.[1]